சிலந்தி, காளம் (பாம்பு), ஹஸ்தி (யானை) ஆகிய மூன்று வழிபட்டு முக்தி அடைந்த தலமாதலால் 'திருக்காளஹஸ்தி' என்ற பெயர் பெற்றது. ஒருசமயம் ஆதிசேஷனுக்கும், வாயு பகவானுக்கும் 'யார் பெரியவர்' என்ற சண்டை வந்தபோது, கயிலாய மலையை பெயர்க்க முற்பட்டனர். அதனால் மலையிலிருந்து சில சிகரங்கள் பெயர்ந்து தெற்கே வந்து விழுந்தன. அதில் ஒன்றுதான் காளத்தி மலை என்று புராணங்கள் கூறுகின்றன. அதனால் இத்தலம் 'தட்சிண கயிலாயம்' என்று அழைக்கப்படுகிறது.

மூலவர் 'காளத்திநாதர்' என்னும் திருநாமத்துடன், சதுர வடிவ ஆவுடையுடன் லிங்க வடிவில் மேற்கு நோக்கி காட்சி அளிக்கின்றார். மூலவர் மீது கவசம் சாத்தப்பட்டுள்ளது. கற்பூர ஆரத்தியின்போது அதை நீக்கினால் லிங்கத்தின் மீது சிலந்தி, பாம்பு, யானையின் வடிவங்கள் தெரிகின்றன. அம்பாள் 'ஞானப்பூங்கோதை', 'ஞானப்பிரஸூனாம்பிகை' என்னும் திருநாமங்களுடன் தரிசனம் தருகின்றாள்.

மூலவர் சுயம்பு மூர்த்தியாதலால் அவருக்கு பச்சைக் கற்பூரம் கலந்த நீரே அபிஷேகம் செய்யப்படுகிறது. அதனால் விபூதிக்குப் பதிலாக பச்சைக் கற்பூரத்துடன் பன்னீர் கலந்த நீரே பிரசாதமாக வழங்கப்படுகிறது. பிற அபிஷேகப் பொருட்கள் கொண்டு ஆவுடைக்கு அபிஷேகம் செய்யப்படுகின்றன.

கோஷ்டத்தில் விநாயகர், தட்சிணாமூர்த்தி, லிங்கோத்பவர், பிரம்மா, துர்க்கை, சண்டேஸ்வரர் ஆகியோர் காட்சி தருகின்றனர். பிரகாரத்தில் சுந்தர விநாயகர், காளத்தீஸ்ரவர், ஆஞ்சநேயர், நாகர், நவக்கிரகங்கள், பைரவர் ஆகியோர் தரிசனம் தருகின்றனர்.

கோபுர வாசல் வழியாக நுழையும்போது பாதாள விநாயகர் சன்னதி ஒன்று உள்ளது. அங்கு சுமார் 20 அடி ஆழத்தில் விநாயகர் வீற்றிருக்கின்றார்.

பஞ்ச பூதத் தலங்களுள் இத்தலம் வாயு (காற்று) தலம். அதனால் இங்கு கருவறையில் எரியும் தீபம் எப்போதும் அசைந்துக் கொண்டே இருக்கும். சிதம்பரம் (ஆகாயம்), திருவானைக்கா (நீர்), திருவண்ணாமலை (நெருப்பு), காஞ்சிபுரம் (மண்) ஆகியவை மற்ற பஞ்ச பூதத் தலங்கள்.

மூலவர் மீது ஒன்பது படிகள் உள்ள கவசம் அணிவிக்கப்பட்டுள்ளது. இவை நவக்கிரகங்களைக் குறிக்கும். அதாவது நவக்கிரங்கள் அனைத்தும் இறைவனிடம் ஒடுக்கம் என்பதை விளக்குவதாக இது அமைந்துள்ளது. அதனால் இக்கோயிலில் சனீஸ்வரன், இராகு, கேது தவிர பிற நவக்கிரகங்கள் இல்லை. மேலும் நாக தோஷம், இராகு, கேது பரிகாரத்திற்கு இக்கோயில் மிகவும் பிரசித்தி பெற்றது.

அம்பிகையின் 51 சக்தி பீடங்களுள் இத்தலம் ஞான பீடத் தலமாக விளங்குகிறது.

காளத்தி என்றவுடன் நினைவுக்கு வருவது கண்ணப்ப நாயனார் வரலாறு. கோயிலுக்கு அருகில் உள்ள கண்ணப்பர் மலை மீது உள்ள சிவலிங்கதை வழிபட்டுத் தான் கண்ணப்ப நாயனார் முக்தி அடைந்தார். அங்கும், கீழ்க் கோயிலின் கருவறைக்கு அடுத்துள்ள மண்டபத்திலும் கண்ணப்ப நாயனார் திருவுருவம் உள்ளது.

மகாவிஷ்ணு, பிரம்மா, இலட்சுமி, சரஸ்வதி, இராமர், சனகாதி முனிவர்கள், அகத்தியர், வசிஷ்டர், பரத்வாஜர், உரோமசர், ஆதிசேஷன், இந்திரன், நக்கீரர், முசுகுந்த சக்கரவர்த்தி, திக்பாலகர்கள், யோகினிகள் ஆகியோர் வழிபட்ட தலம்.

அருணகிரிநாதர் இத்தலத்து முருகனை தமது திருப்புகழில் பாடியுள்ளார்.

திருஞானசம்பந்தர் மூன்று பதிகங்களும், திருநாவுக்கரசர் ஒரு பதிகமும், சுந்தரர் ஒரு பதிகமும் பாடியுள்ளனர். மாணிக்கவாசகர் தமது திருவாசகத்தில் இத்தலத்தைப் பாடியுள்ளார். 11 ஆம் திருமுறையில் நக்கீரத் தேவரால் பாடப்பெற்ற 'கயிலை பாதி காளத்தி பாதி அந்தாதி' இத்தலத்தைக் குறிக்கும் திருமுறைப் பாடலாகும்.

இக்கோயில் காலை 6 மணி முதல் இரவு 9 மணி வரையிலும் நடை திறந்திருக்கும்.